COHOMOLOGIE AUTOMORPHE ET 
COMPACTIFICATIONS PARTIELLES DE 
CERTAINES VARIÉTÉS DE GRIFFITHS SCHMID. 



Henri Carayol 

We study some automorphic cohomology classes of degree one on the Griffiths- 
Schmid varieties attached to some unitary groups in 3 variables. Using partial 
compactifications of those varieties, constructed by K. Kato and S. Usui, we define 
for such a cohomology class some analogues of Fourier-Shimura coefficients, which 
are cohomology classes on certain elliptic curves. We show that a large space of 
such automorphic classes can be generated by those with rational "coefficients". 
More precisely, we consider those cohomology classes that come from Picard modular 
forms, via some Penrose-like transform studied in a previous article : we prove that 
the coefficients of the classes thus obtained can be computed from tho coefficients of 
the Picard form by a similar transform defined at the level of the elliptic curve. 



Le présent travail prolonge les articles [Cal] et [Ca2], dans lesquels on étudiait les 
groupes de cohomologie de certains faisceaux cohérents sur les variétés de Grifïiths- 
Schmid associées à certaines formes de groupes unitaires en trois variables. Rap- 
pelons sommairement la définition des variétés en question : elles sont des quotients 
de domaines de périodes ("period matrix domains"), attachés à certains groupes 
réductifs, par des groupes arithmétiques, ou, si l'on préfère, des version adéliques de 
tels quotients. En tant que telles, elles généralisent la notion de variété de Shimura, 
bien qu'elles ne soient pas en général, contrairement à ces dernières, des variétés 
algébriques. Elles avaient été considérées et étudées par Grifliths et Schmid (cf. 
[G-S]) parce qu'elles paramétrent des structures de Hodge munies de polarisations 
et de données additionnelles. 

Comme dans le cas plus classique des variétés de Shimura, la décomposition 
des groupes de cohomologie de faisceaux cohérents se décrit en termes de formes 
automorphes, une différence essentielle avec ce cas habituel consistant en ceci : 
que le est souvent nul ou trivial, autrement dit qu'il n'y a pas ou peu de 
formes automorphes au sens usuel (d'oii le fait que ces variétés sont la plupart 
du temps non-algébriques), mais plutôt des classes de cohomologie automorphe 
de degré > 1. Les articles [Cal] et [Ca2] tirent leur origine de l'observation que 
ces groupes de cohomologie, dans le cas des variétés de Grifhths-Schmid, peuvent 
contenir un peu plus de formes automorphes que dans le cas des variétés de Shimura; 
en particulier, du moins dans le cas de formes de groupes unitaires à trois variables, 
mais sans doute aussi dans des cas beaucoup plus généraux, on y trouve des classes 
associées à des formes du type de Maass qui ne peuvent pas intervenir dans le 
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cadre des variétés de Shimura. On aimerait bien sûr beaucoup pouvoir se servir de 
l'apparition de ces formes dans la cohomologie de ces variétés afin de prouver des 
propriétés arithmétiques (rationalité, congruences, construction de représentations 
galoisicnnc^s) . mais on se heurte aussitôt dans ce projet à l'obstacle essentiel que 
constitue leur non-algébricité. 

L'objet du présent article est d'aborder la question suivante : comment peut- 
on définir ce qu'est une classe de cohomologie rationnelle, en dépit du fait que la 
variété étudiée n'est pas munie d'une structure arithmétique ? Si l'on pense au 
cas plus habituel des variétés de Shimura (en oubliant provisoirement qu'elles sont 
algébriques et définies sur un corps de nombres) et si l'on veut définir élémen- 
tairement pour ces dernières ce qu'est la rationalité d'une forme automorphe, on 
voit que cela peut se faire essentiellement de deux façons : la première consiste 
à regarder les valeurs prises aux points spéciaux et la seconde à considérer les 
coefficients des développements de Fourier aux pointes ou composantes frontières. 
La première façon peut se généraliser sous la forme suivante aux classes de coho- 
mologie portées par les variétés de Griffiths-Schmid : on intègre ladite classe sur 
des cycles convenables, ce qui est à la base d'une approche souvent utilisée (cf. 
par exemple [WW]) quoique pour d'autres motifs que des questions de rationalité. 
Quant à la seconde façon de procéder, sa généralisation au cas présent nécessite 
de disposer d'un analogue des composantes frontières, c'est-à-dire d'une sorte de 
compactification des variétés de Griffiths-Schmid. Or une telle compactification 
partielle vient d'être construite par K. Kato et S. Usui [K-U]. Le but du présent 
article est d'explorer ce que l'on peut faire à l'aide de ces compactifications. 

Nous nous plaçons ici dans le cas particulier d'un groupe unitaire en trois va- 
riables ; c'est le même cadre que celui où nous nous étions placés dans les deux 
articles [Cal] [Ca2], à ceci près que nous prenions alors pour simplifier une forme 
anisotrope du groupe, ce que nous ne faisons plus maintenant car bien sûr nous 
voulons travailler sur une variété non-compacte. Notre variété complexe est de 
dimension 3, et nous décrivons dans ce cas la "compactification" (en fait très 
partielle) que nous donne la construction de Kato et Usui : elle revient à ajouter 
comme composantes frontières des courbes elliptiques à multiplication complexe. 
D'autre part nous appliquons une construction analogue à celle de [Ca2] qui donne, 
à partir de formes de Picard classiques, les classes de cohomologie - de degré 1 - 
qui leur correspondent sur notre variété. Nous regardons ensuite la restriction au 
voisinage d'une composante frontière de cette classe et expliquons enfin comment 
écrire une sorte de développement de Fourier et comment exprimer les coefficients 
de ce développement qui sont des éléments du des courbes elliptiques frontières 
- en terme du développement de Fourier-Shimura (cf. [Sh2] , [Sh3]) de la forme 
de Picard de départ. On peut donc lire sur ce développement les propriétés de 
rationalité de nos classes. 

Il serait extrêmement intéressant de pouvoir faire de même pour des classes de 
cohomologie de degré 2 : en effet, de même que dans [Cal], on devrait obtenir par 
cup-produit de formes de type holomorphe et anti-holomorphe toutes les formes du 
type de Maass. Si l'on pouvait déffnir des sortc^s de coefficdents de Fourier pour 
de telles classes, on en déduirait des renseignements tout-à-fait nouveaux sur leurs 
propriétés arithmétiques. Il s'agit toutefois d'un problème nettement plus difficile 
que pour le . On verra en effet dans le cours de cet article à quoi ressemble un 
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voisinage do la courbe elliptique frontière : un tel voisinage n'est pas localement clc 
Stein ; le d'un tel voisinage de notre courbe elliptique fait intervenir, outre la 
géométrie de cette courbe, les groupes de 1 - cohomologie des voisinages des points 
de la frontière. Il s'agit donc d'un objet de nature nettement moins algébrique que 
le iJi. 

Le plan de l'article est le suivant : au paragraphe 1, nous définissons les variétés 
qui nous intéressent, et nous expliquons comment adapter les constructions de [Ca2] 
afin do pouvoir associer aux formes modulaires de Picard des classes de cohomologie 
automorphe. Dans le second paragraphe nous explicitons, dans le cas particulier 
considéré ici, la construction de Kato et Usui, qui donne naissance à une compacti- 
fication partielle de notre variété de Griffiths-Schmid. Le troisième paragraphe est 
consacré à la définition des développements de Fourier-Jacobi tant dans le cas des 
formes modulaires de Picard que dans celui des classes de cohomologie automorphe 
sur les variétés ici considérées : le premier cas est bien classique, et on obtient des 
éléments du de courbes elliptiques CM, autrement dit des fonctions thêta. Dans 
le second cas nous obtenons comme "coefficients" des classes dans le des mêmes 
courbes - oii plutôt de leurs complexes conjuguées. 

Au quatrième paragraphe nous définissons une transformation cohomologique 
qui associe aux sections de faisceaux sur d'une courbe elliptique des classes de 1- 
cohomologie sur la courbe conjuguée et nous établissons des propriétés de rationalité 
pour cette transformation. Finalement, nous vérifions au paragraphe 5 que la 
transformation cohomologique du §1 est donnée au niveau de chaque coefficient 
par celle du §4, ce qui prouve finalement les propriétés de rationalité attendues. 

J'ai exposé une version préliminaire de ce travail lors d'im workshop " Arithmetic 
Groups and Automorphic Forms" organisé au début 2002 par Joachim Schwermer 
à l'Erwin Schrôdinger International Institute for Mathematical Physics de Vienne. 
Je remercie ici cet organisme ainsi que l'organisateur de la rencontre. 



1. Formes automorphes et cohomologie automorphe 

Soit F C C un corps quadratique imaginaire, muni d'un plongement complexe. 
On note G = SU{2, 1) le groupe spécial unitaire (quasi-déployé) associé à la forme 
hermitienne H sur donnée par H{x,y,t) = —xt + yy — xt, où x x désigne 
la conjugaison complexe sur F. Le groupe (j(]R) opère naturellement sur le plan 
projectif complexe P^(C) avec deux orbites ouvertes qui sont respectivement la 
" boule unité" ouverte A , constituée des points p associés aux vecteurs v qui vérifient 
H{v) < 0, et le complémentaire de la boule fermée A'=. On a repris ici des notations 
de [Ca2] sauf en ce qui concerne la forme hermitienne qui était diagonale dans (loc. 
cit) et qu'il est plus pratique de considérer maintenant comme nous le faisons ici, 
dans le but d'étudier les phénomènes qui se passent au voisinage des pointes. Une 
autre différence essentielle avec [Ca2] est que nous avions considéré alors une forme 
anisotrope de SU {2, 1). 

Le domaine de périodes Î7 est le sous-espace ouvert de l'ensemble des drapeaux 
(p, L) constitué de ceux tels que p n'appartienne pas à la boule fermée A'' et que L 
rencontre A. Si on note O l'ensemble de tous les drapeaux de P^(C), on voit qu'il y 
a 3 orbites ouvertes pour l'action de sur Ù,: d'une part fi, d'autre part deux 



4 



COHOMOLOGIE AUTOMORPHE 



orbites notées X et Y, en dualité par rapport à la forme H: on a désigné par X 
(resp. Y) le sous espace de l'espace des drapeaux Ù. constitué des {p, L) tels que 
p e A (resp. tels que L n A'^ = 0). 

Les variétés de Griffiths-Schmid (connexes) associées à cette situation sont les 
quotients T\fl pour F un sous-groupe de congruence assez petit de G. Ce sont 
des variétés analytiques complexes non algébriques. Contrairement à la situation 
étudiée dans [Ca2], elles ne sont plus maintenant compactes. 

Plus classiquement, on considère les surfaces de PicardT\A. L'espace X est fibré 
en droites projectives au dessus de A, et il en est donc de même pour les quotients 
r \ X, au-dessus des surfaces F \ A. Quand à Y et ses quotients, ils s'identifient 
naturellement, sous la dualité donnée par la forme hermitienne H, aux conjugués 
coinplcixcs de X et de ses quotients. Ils sont fibrés en droites projectives sur la 
surface de Picard F\A, oii A désigne l'ensemble, dual de A, constitué des droites 
L extérieures à A^. 

Désignons d'autre part par !Fa,b la restriction du faisceau 0{a) ® 0{b) k Ù C 
P^(C) xP^^(C), ainsi qu'aux différents espaces Cl, X, Y; puisqu'il s'agit de faisceaux 
équivariants , cela définit également des faisceaux, notés de façon identique, sur les 
quotients F\f2 , F\X , r\Y. Nous appellerons formes modulaires de Picard les 
sections, quand elles existent, des faisceaux J^a,b sur les variétés F\X (resp. F\ Y), 
munies de condditions de croissance convenable aux pointes. Pour le faisceau J^-k,o 
sur F \ X (resp. J-"o,-fe sur F \ Y), qui provient de F\A (resp. F\A), on obtient 
ainsi la notion la plus usuelle de 'forme de Picard de poids A:' ; pour les autres on 
retrouve la définition plus habituelle en considérant le fibré vectoriel sur F\A (resp. 
F\A) défini comme l'image directe du faisceau constant par la fibration en dont 
il a été question ci-dessus. 

Dans [Ca2] nous avions défini des transformations linéaires: 

P : iî°(X , J^a,b) >■ H^{Cl , J^-a-2,a+b+l) , 

et V : H%Y , Ta,b) H'{n , Ta+b+i,-b-2) , 

la première étant injective pour h> Oeta + 6< —2, et la seconde pour a > et 
a + h< —2. Nous nous placerons toujours sous ces hypothèses. Nous appliquerons 
ces transformations aux sections F-invariantcs qui correspondent à des formes 
modulaires de Picard. On obtient alors comme image une classe de cohomologie 
automorphe, c'est-à-dire invariante par F. Comme dans l'article précité, une telle 
classe provient d'une (unique) classe de cohomologie sur le quotient F \ fi : une 
façon de voir ceci est de considérer la suite exacte des termes de bas degrés associée 
à la suite spectrale de Cartan-Leray relative au quotient F \ O : 



H^{T,H°{n,:Fa'M')) ^ H\T\fl,J^a',b') ^ H\Çl,J^a',b'f ^ H^{T,H\Çl,Ta',b')) 

avec a' et b' intervenant dans l'image de la transformation V (resp. V') ; puis de 
remarquer que pour ces valeurs de a' et 6', l'espace H°{Q,!Fa',b') est nul : en effet 
une telle section doit se prolonger, d'après le lemme (4.2) de [Ca2], à l'espace de 
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drapeaux Cl tout entier, et le fait que a + b + 1 { = a' ou b') soit négatif entraîne 
qu'une telle section ne peut qu'être nulle. 

Ce qui précède permet donc de définir des applications linéaires injectives notées 
encore V etV: 

Rappelons plus en détail comment nous avions dans [Ca2] défini les transforma- 
tions V et V' au niveau des espaces X , Y, f2 : nous avions utilisé la théorie des 
Eastwood-Gindikin-Wong (cf. [EGWl] , [EGW2], [Gi]), qui permet d'exprimer la 
cohomologie à partir d'une fibration à fibres contractiles et dont l'espace total est 
de Stein. Dans notre cas, un tel espace est l'ensemble U constitué des couples de 
drapeaux {z,l;£,,a) vérifiant les conditions suivantes: 

(i) les points z et ^ sont distincts et la droite J qui les joint ne rencontre pas A''. 

(ii) les droites l et a sont distinctes et leur intersection I appartient à A. 

L'espace U est de Stein et la projection sur le premier facteur tt : U — ^ Î7 
est à fibres contractiles. Sous ces hypothèses on a alors un isomorphisme entre 
la cohomologie de fi à valeurs dans un faisceau et la cohomologie du complexe 
r(U, ri*(jF)) des sections globales sur U du faisceau des différentielles relatives à 
valeurs dans JF. Nous avions alors défini nos transformations dans ce cadre par des 
formules: 

Vif)iz,l;^,a) = filAaJ) a(z)-» lui 

r'{n{zj,-i,a)^ î'{z,zho mr" 

avec w/ G r(U, ri^(^_2,i)) et loj G r(U, Ù\^{J^\-2)) des éléments canoniques dont 
nous rappellerons plus bas (au §5) la définition exacte. 

Ces mêmes formules définissent également les transformations V et V au niveau 

des espaces quotients, une fois vcrificc la proposition suivante (que nous avions 
prouve dans ([Ca2] prop. 5.2) sous l'hypothèse que F était co-compact) : 

Proposition 1. L'espace F \ U est de Stein. 

Preuve. La construction donnée dans [Ga2] de fonctions qui séparent les points 
n'utilisait pas la co-compacité de F et reste donc valide ici. 

Par contre nous utilisions cette hypothèse pour construire, étant donnée une 
suite sans valeur d'adhérence ((/„, In), (^n, Jn)) d'éléments de F \ U, une fonction 
$ telle que $((/«, (Cru -^n)) ne soit pas bornée. Expliquons comment modifier 
l'argument afin qu'il s'applique au cas présent. 

Tout d'abord on vérifie aussitôt que l'argument donné dans (loc. cit.) s'applique 
tel quel si l'image de la suite /„ dans le quotient F \ A, de même que celle de la 
suite Jn dans le quotient F \ A, sont contenues dans des parties compactes. 

On peut donc supposer, quitte à permuter éventuellement le rôle de X et Y, que 
/„ admet une pointe comme valeur d'adhérence. Quitte à remplacer ensuite F par 
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un conjugué, à extraire une sous-suite et à choisir des représentants convenables, 

on se ramène à supposer que /„ est représenté par 7„ = , avec ?/„ et 3(x„) 

bornés tandis que îî(a;„) tend vers +00. On peut aussi supposer qu'un représentant 
Jn = {un, Vn, Wn) & été choisi de telle sorte qu'il converge vers J = (m, w, w), dont 
l'image J peut appartenir à A ou à sa frontière suivant que — 21R{uv) est < 
ou bien nul ; noter que dans le premier cas u est nécéssairement non nul. 

Le cas le plus simple est le cas où J € A. Dans ce cas /(/«) converge vers 
la valeur de notre forme en la pointe considérée, g{Jn) vers g{J), et \Jn{In)\ = 
\unXn + VnVn + Wn\ tcud vcrs +0O. On voit alors que pour un choix convenable de 
/ et g, la suite 

^f,g{{Inan),{^n,Jn)) = f{în)g{Jn)Jn{în)-'' 

(notations de loc. cit avec b = , a < —2) n'est pas bornée. 

Le second cas est celui où la suite J„ converge vers un point de la frontière, mais 
oii son image dans le quotient r\A reste dans un compact. On peut alors trouver des 
scalaires /t„ ainsi que des éléments 7„ € F tels que /t„ J„7^^ = = ( v!^ w'^) 
converge vers J' = (u' v' w' ) représentant un élément J' de A. Dans ce cas 

- 2K(«) = \Knf{\Vn\^ - 2?fi{UnWn)) 

tend vers un réel < tandis que |î;„p — 2îî(u„û)„) tend vers 0, de sorte que |«;„| 
tend vers l'infini. 

On a : g{Jn) = i^ndi^n), de sorte que 

^f,g{{In,ln)A^n,Jn)) = /(/„))5(4)(/î„ J„(/„))-« = f {în)g{J'n){JnlJn)-'' ■ 



Les vecteurs I'^ = ^nîn = y'^ représentent des points de la boule unité dont 

Vu) 

toutes les valeurs d'adhérence sont sur sa frontière (sans quoi leur projection sur 
le quotient ne tendrait pas vers la frontière). Extrayant encore une sous-suite, on 

peut supposer que pour certains scalaires A„ le vecteur A„ ^/^ converge vers y' 

V'. 

représentant un point frontière. D'autre part jy^p — 23Ç(a;^2^) = — 2K(a;„) tend 
vers —00 et donc |A„| tend vers -|-oo. Enfin \~^J'^{I'^) tend vers u'x'+v'y'+w'z' qui 
est non nul, d'où il découle que la suite Jn{In) n'est pas bornée. Nous en déduisons 
comme précédemment que, pour un choix convenable des fonctions / et 5, la suite 
des $/,g((/„,Z„), {^n, Jn)) n'est pas bornée. 

Il reste le cas oià l'image de J„ converge aussi vers une pointe. Il existe alors 
7 G G(Q) tel que J„ soit représenté par J„ = ( 1 Vn ) 7 avec et Sîw„ bornés 
et tendant vers -|-oo. On a 

/(/„M^)^(4)-" = /(/„M^)((l Vn Wn)lîn)-''. 
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4/ 

comme plus haut pour les on peut trouver A„ tendant vers l'infini et tel que 
A„^7/„ converge vers y' représentant un point frontière. L'expression 

A;;^ ( 1 Vn Wn ) 7/„ = \n^{x'„ + "nj/^ + Wnz'n) 

tend vers l'infini (si z' ^ ), ou vers x' dans le cas où z' = y' = 0. Dans un cas 
comme dans l'autre, on voit que (1 Vn Wn) ^In n'est pas bornée et on conclut 
comme dans les cas précédents. 



Les -fin == 



Remarque : Dans [Ca2] nous avions donné une expression des transformations P 
et V en termes de cohomologie de Dolbeault et qui ne fait pas appel à la théorie 
de Gidinkin. Une telle expression est encore valide ici. 

Remarque : Dans (loc.cit.) nous avions montré que les transformations P et 
P' sont aussi surjectives. Ceci est probablement encore vrai ici à condition de 
se limiter aux sous-espaces constitué des formes (resp. des classes) paraboliques. 
Tout le problème est de définir une notion convenable de parabolicitc pour les 
classes de cohomologie automorphe. On peut le faire sans difficulté d'un point 
de vue analytique, en exprimant de façon habituelle la cohomologie automorphe 
comme (P, K) cohomologie d'un espace de formes automorphes puis en se limitant 
à la partie parabolique de ce dernier. Avec une telle définition, la surjectivité des 
trandsformations P et P' est essentiellement triviale. Il serait intéressant d'avoir 
une notion plus géométrique analogue à ce que fait Harris ([Ha]) dans le cas des 
variétés de Shimura. Malheureusement les compactifications que nous allons utiliser 
dans cette article semblent trop partielles pour pouvoir produire une telle définition. 



2. Compactification de Kato — Usui 



L'article [K-U] construit des 'compactifications partielles' - à vrai dire en général 
bien loin d'être compactes - des espaces classifiants de structures de Hodge po- 
larisées. Cette même construction vaut encore si l'on ajoute des données supplé- 
mentaires (actions). Nous allons appliquer cela à la variété de Grifîiths-Schmid 
que nous considérons. Comme la construction donnée dans [K-U] s'exprime en 
termes de structures de Hodge, nous allons commencer par expliquer brièvement 
(en suivant [De]) comment Q. paramètre certaines structures de ce type. Cette 
description ne jouera dans la suite qu'un rôle assez auxiliaire. 

(2.1) Notons W = , muni de la forme hermitienne iî, et V le même espace 
après restriction des scalaires à Q. Désignons par ^ la forme alternée sur V 
obtenue c;omnic! l'opposcc de la partie imaginaire do H . Alors il revient au môme 
de parler du groupe unitaire (resp. des similitudes unitaires) de {W, H), ou bien du 
groupe des éléments qui commutent à l'action de F et qui appartiennent au groupe 
symplectique (resp. des similitudes symplectiques) de (V,^). 
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L'application w (Xi A — > {wX, wX) identifie V F k\a somme W Q)W de W et 
de son conjugué W (le même espace mais muni de l'action conjuguée de F). Avec 
cette identification la forme déduite de ^ par extension des scalaires s'exprime 
comme il suit: 

'ipiVl ®V2, Wi® W2) = - {H{vx , W2) - H{wi , V2))- 

De même, on a Vr, isomorphe à Wc = dont le coinplcxific s'identifie à 
Wc© Wc- Choisissons une base (ei, 62, 63) de Wc, orthogonale et telle que H{ei) = 
H{e2) = 1 = —H{ez)- Notons ë, les mêmes éléments e,, mais vus dans Wc, de 
sorte que l'on a : 

î'_F(ei,ëj) = SI i ^ j 

*F(ei,ëi) = *F(e2,ë2) = 1 *F(e3,ë3) = -1 

Pour z G C* considcrons alors la similitude unitaire h{z) de Wc dont la ma- 
trice dans cette base s'écrit àxag{z~P^z~'^^,z~P^z~'^^,z~^^z~'^^), avec six entiers qui 
vérifient: 

Pi + 91 = P2 + Ç2 = P3 + qz = W = -l 

—pi + qi = —p2 + 92 = 1 mod 4 et —ps + qs = —1 mod 4, 

cette seconde condition signifiant que h{i) = diag(z, i, —i) définit une involution de 
Cartan ; elle entraîne d'autre part, compte tenu de la première, le fait que pi et 
P2 sont pairs et p3 impair (d'où qi et Ç2 impairs, qs pair). De plus, on a alors 
le fait que \E'(a;, h{i)y) est une forme symétrique définie positive sur Vr = Wc- 
Finalement, prenant le F*^ de la structure de Hodge définie par h sur l'algèbre de 
Lie complcxificc de G, on trouve une sous- algèbre parabolique qui coïncide avec 
l'algèbre de Lie du sous-groupe de Borel noté B dans [Cal] (3.1) si et seulement 
si la condition suivante est satisfaite: pi > ps > P2- 

Il y a de nombreux choix possibles de tels entiers, donnant lieu à des types 

différents de structures de Hodge (suivant la position relative des pi et des qj) mais 
aboutissant finalement à la même compactification. Prenons pour fixer les idées 
P2 = Ç3 = — 1 ; (Z2 = P3 = ; pi = 1 ; çi = —2. Dans ce cas la structure de Hodge 
associée à h est donnée par : 

= (ei) , = (e2, ë3) , = (ëi) , yO>-l = (63, ë2) . 

D'autre part le Drapeau {p, L) correspondant à h, c'cst-à-dirc celui fixe par B, 
est donné par: p = (ei) et L = (61,63). La filtration de Hodge sur V associée est 
donnée par : 

FO = {0} ; pi = (61) ; pO = (ei, 63, ë2) ; F"^ = (ei, 62, 63, ë2, 63) ; F'^ = V. 
Autrement dit on obtient comme filtration : 

pi = p C P° = i © C F"^ = Wc ® p-^ 

(nous avons dénoté ici - un peu abusivement - par les mêmes notations le point p 
(resp. la droite L) et les sous-espaces vectoriels de Wc correspondants). 

Prenant les conjugués de h, lesquels correspondent aux différents points de Cl, 
on obtient des structures de Hodge du type précédent. Ainsi Cl classifie de telles 
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structures (polarisées, munies d'une action de F). A chaque {p,L) G ft correspond 
une structure de Hodge, telle que la filtration de Hodge associée reste donnée par 
les mêmes expressions que ci-dessus. 

(2.2) Données combinatoires. 

L'ingrédient de base de la construction de [K-U] consiste en la donnée d'un 
éventail E constitué de cônes a dans l'algèbre de Lie sur Q de G. Chacun de ces 
cônes doit être engendre par des cléments nilpotcnts commutant entre eux. A une 
conjugaison près on voit que l'on peut se ramener à supposer qu'un tel cône est 
contenu dans la sous-algèbre, constituée des matrices triangulaires supérieures : 



Àf = I I â I / + p = O 
et associée au sous-groupe: 






a 










a 












1 


a 


/9 





1 


a 








1 



V={ \0 1 â / p+p 



Pour chaque tel cône a on ajoute comme composante frontière l'ensemble cons- 
titué des orbites a - nilpotentes : ce sont les exp(a-c)-orbites exp{ac){X) dans la 
variété de drapeaux Ù qui vérifient une condition de transversalité de Grifîiths et 
une condition de positivité. La condition de positivité exprime le fait que, pour Nj 
des éléments du cône a et pour des réels Yj tous assez grands, exp(^iY^A^j)(X) 
appartient à fi. Celle de transversalité est que, pour TV e cr et la filtration du 
type Hodge qui continue à être associée aux points de Ù, on ait A^F^ C F^~^. La 
relation explicitée ci-dessus entre drapeaux (p, L) et filtration de Hodge montre que 
cette condition est équivalente à : Np c L. 

Remarquons que, si a est un cône de dimension 2, engendré par deux éléments 
(non nuls, non proportionnels, commutant entre eux) : 





ai 


Pi\ 


r 


«2 


P2\ 


: 





ai 


et N2 = \ 





0L2 







/ 







/ 



alors il n'y a aucune orbite cr-nilpotente. En effet si X = (p, L) appartenait à une 
telle orbite, avec p = y , on aurait 4^0 par la condition de positivité ; la 
condition de transversalité entraînerait que les points définis par : 

(aiy + Pit\ I «22/ + P2t^ 

âit et N2P = I â2t 

/ V 

appartiennent à la droite L. Comme ils appartiennent tous deux à la "droite à 
l'infini" d'équation t = 0, ils sont donc confondus, ce qui s'écrit : 



(«102 - aia2)ty + (a2/3i - aiP2)t'^ = 0; 
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d'autre part la condition de commutation entre A^i et 7V2 est que «10:2 — aia2 = 0; 
il en résulte que â20i — âiP2 = 0, ce qui contredit la non-proportionalité de Ni et 

On peut donc se limiter à ne considérer que des cônes de dimension 1. Un 
tel cône est engendré par un élément nilpotent A''. On normalisera dans la suite 
ce nilpotent comme dans [K-U], de telle sorte que exp(iV) soit un générateur de 
r(cr) = exp(a) n r . De tels N sont de deux types possibles suivant leur ordre de 
nilpotence (2 ou 3). Les éléments nilpotents d'ordre 3 et qui appartiennent à Af sont 

/O a p\ /O /3' 

ceux de la forme 1 â 1 avec a ; ceux d'ordre 2 s'écrivent 1 
\0 0/ \0 

(2.3) Nous allons déterminer pour chacun de ces types l'espace des orbites A'^- 
nilpotentes, c'est-à-dire la composante frontière qui lui correspond. Nous ne traitons 

le cas des nilpotents d'ordre 3 qu'à titre indicatif, car seules joueront un rôle dans 
la suite de l'article les composantes attachées aux nilpotents d'ordre 2. 

'0 a 13" 

(a) Cas d'un nilpotent d'ordre 3 : AT = I â \. Faisant agir 







1 lYa -^aâ + iY^' 



exp{iYN) = I 1 iYa | sur un drapeau X = {p,L) avec 

1 

p = \ y \ et L = {u V w) on obtient le drapeau X' = {p',L') avec 









, . 1 













X + iYay — ^aat + iYpt 



y + iYât j et L' = {u' v' w') 

= {u —iYau + V ~^aau — iY(3u — iYav + w)- La condition de positivité est 
que, pour Y réel assez grand, y'y' — 2îî(x'?) ainsi que v'v' — 2^{w'û') soient tous 

/ay + f3t\ 

deux > 0. D'autre part on doit avoir que Np = ât G L. On en déduit 

que t ^ : sans quoi en effet, puisque L ne peut pas être la droite d'équation t = 0, 
on voit que p et Np seraient liés, ce qui entraîne y = et conduit finalement à une 
contradiction avec la condition de positivité. 

Si t ^ la condition de positivité pour p' est satisfaite {Y grand). Celle pour L' 
l'est aussi : c'est clair si v ^0 ; sinon on remarque que u ^ : en effet, L, passant 

par Np, ne passe pas par le point 

En résumé on doit partir d'un drapeau (p, L) avec p = \ y \ et L la droite 

VI/ 

joignant p à Np. La exp(ac)-orbite correspondante se compose des éléments (p', L') 
avec p' donné par la même formule que ci-dessus - mais Y variant dans C tout 
entier - et L' la droite correspondante, joignant p' à Np'. Chaque orbite de ce type 
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admet un unique représentant vérifiant v' = \ | : ce qui permet de paramétrer 

cet ensemble d'orbites par a; G C. Version duale : on part de la droite L = 
et p le point d'intersection de L et LN = (0, a, /3 + âv) 

(b) Cas d'un nilpotent d'ordre 2 : Si /3o est le plus petit élément imaginaire, 

/l /3o\ 

de partie imaginaire positive, tel que 1 1 S F, on peut supposer que 

Vo ij 

/O ±Po\ /l ±iF/3o\ 

A/" = . Alors exp(ir7V) =01 transforme X = {p, L) 

Vo / \0 1 / 

en X' = {p',L'), donné par (avec les mêmes notations que ci-dessus) : 

x' = x± iY/3ot , y' = y , t' = t ; u' = u , v' = v , w' = ^ïYfiQU + w . 

La conditions de positivitc correspondante signifie que pour Y réel assez grand: 

yy - 2^{xï) T 2iYPott > 
et:vv- 2K(u;û) ± 2iYf3ouû > 

/O Po\ 

Cas (b +). AT = I I . Alors la première des deux conditions précé- 
\0 / 

dentés est satisfaite si t ^ ou si t = et y ^ , tandis que la seconde l'est si et 
seulement si u = et î; ^ 0. Les conditions sont donc équivalentes à ce que la droite 

('\ 

L passe par le point Poc = (ce qui entraîne la condition Np (= poo) G L) et 

soit distincte de la droite L^o = ( 1 ), et que p soit un point de cette droite L 
distinct de Poo- La ac-orbite correspondante se décrit ainsi : L est fixe et p varie 
sur L \ {poo}- Remarquer que l'on a finalement que t ^0. 

/O -po\ 

Cas (b -) . AT = I 1 . Maintenant la première condition entraîne 
\0 / 

t = et y ^ : p varie sur L^o privée de p^, et L est une droite passant par p 
et distincte, en vertu de la seconde condition, de L^o- L'orbite correspondante est 
telle que p est fixe et L varie en passant par p et en restant distincte de Lqo- 

Remarquer que l'on a sur Î7 et ses quotients une involution anti-holomorphe 
provenant de la forme hermitienne. Cette involution préserve l'ensemble des orbites 
du type (a) et échange celles de type (b +) et (b -). 

(2.4). Compactification de [K-U]. Pour chaque cône a, on ajoute comme com- 
posante frontière l'ensemble des orbites (T-nilpotentcs, quotienté par le stabilisateur 
dans T de a. Il est plus difficile de voir comment recoller cette composante à la 
variété F \ O. Dans le cas d'un cône de dimension 1 engendré par un élément N, 
on introduit dans ce but l'espace : 
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E„ = {{e,x) eCxù 



■ si 6» 7^ ,exp((log(6i)/27ri)iV)X e Q ; 

. si ^ = , exjp{ac)X est une orbite a — nilpotente. 



On obtient ensuite Tf^ \ O^, quotient de Cl auquel on a accolé la composante 
frontière associée à a par le groupe engendré par T{a) , comme le quotient de E„ 
par l'action de C donnée par : 

X.{e,X) = {exp{2niX)e,exp{-\N)X). 

Il ne reste plus alors qu'à quotienter l'espace ainsi obtenu par le stabilisateur dans 
r de a, et ce quotient décrit un voisinage de la composante frontière considérée. 

Mettons en pratique cette construction dans chacun des cas considérés. 

( Cas a ) : On peut supposer pour fixer les idées et simplifier les notations que 
/O 1 0\ /x\ 

iV = I 1 • Alors Ea se compose des triplets {9,p,L) avec p = y et 

Vo o) \t) 

L = {u V w) qui vérifient les conditions suivantes, oii l'on a posé q = log(^) /27r: 

- Si é» ^ : 

\y - iqt\^ - 23Î {{x - iqy - ^t) t) > 
et : \v + iqu\'^ — 2îî {{w + iqv — —u) u) > 

(y 

- Si ^ = : t 7^ et L est la droite joignant p à Np = I t 

L'action de A e C est donnée par: 

X.{e , (p,i)) = (exp(27riA)^, {p',L')) 
jx-Xy+^t\ 

avec p' = y-Xt \ et L' = [u Xu + v + Xv + w)- Comme on 

cherche à décrire un voisinage de la composante frontière on peut se placer dans 
l'ouvert E'^ de Ea constitue des points tels que t 0, lequel est stable par l'action 
de C. Dans cet oiivcrt, rcnscmblc des points pour lesquels y = constitue 
un ensemble de représentants transverse aux orbites (un "slice"), de sorte qu'on 
peut décrire un voisinage de la composante frontière comme l'ensemble des points 

(0, ,(u V —ua;)) qui vérifient les conditions ci-dessus. En particulier, pour 

= on doit avoir w = et par suite u ^ 0. De sorte que l'on peut se restreindre 
un peu plus, et se placer dans l'ouvert où u ^ 0. Notre nouveau voisinage est 

l'ensemble des , I 1 , ( 1 v —x)), pour lequel les conditions précédentes se 



1 



récrivent : 
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Si 61 7^ : 

2{^{q)f - 23i{x) >0 et 2{^{q)f 
Si 6» = : w = 0. 



2^{x) + m{q)'Ù{v) > 



Au voisinage de 9 = les inégalités précédentes sont automatiquement satisfaites 
{^{q) tend vers — oo), de sorte qu'un voisinage de cette composante frontière peut se 
décrire localement comme la droite {(0,a:,0)} ajoutée à l'ensemble des {{9,x,v) G 
C* X C X C}. Il reste ensuite à passer au quotient par le stabilisateur dans F 
de notre cône a. On voit que ce stabilisateur est constitué (en supposant F assez 

/l a' f3'\ 

petit) des matrices de la forme 1 a' \ avec a' e Z et (3' entier de F vérifiant 

Vo ly 

/?' + /3' = (a')^ ) ces deux éléments étant soumis à des conditions de congruence. 
On vérifie qu'une telle matrice envoie {9, x, v) sur {9, x + i^{(3'), v). En particulier 
la composante frontière ajoutée s'identifie au quotient de C par un réseau de iR, et 
donc à une copie de C*. 



( Cas b ) : iV 
s'écrit : 




Dans ce cas la condition lorsque 9 



\y\ 



23? {xt)±2{n{q))i(3o\t\^ >0 



L'action de A 
' X =F A/3oi ' 
P' = I y 



et Iwp - 23? (wM)T2(3fî(g))i/?o|up > 
e C envoie {9,{p,L)) sur {{exp{2TTiX)0, {p' , L' j) avec 
et L' = {u V ±Xl3ou + w). 



(Cas b +) : On a explicité ci-dessus la condition que l'on a pour ^ = : en 
particulier, on a alors t et v ^ . On peut se placer dans un voisinage E'^ 
de la composante frontière oii ces conditions sont encore remplies. Ce voisinage est 
stable par l'action de C. On obtient un système de représentants transverse aux 
orbites dans E'^ en faisant : x = ; d'autre part, on peut prendre t = 1 et v = 1 , et 
donc w = —y. Dans E'^ la première moitié des conditions relatives au cas 9 est 
automatique dès que 9 est assez petit. Il en résulte que l'on peut décrire localement 
un voisinage de la composante frontière {{9,y,u) = (0, î/,0)} en ajoutant à cette 
dernière l'ensemble des {9, y, u) qui vérifient l'inégalité : 



ou, si l'on préfère: 



1 + 23? (yu) - 2QSt{q))if3o\u\^ > 



, l + 23?(yw) 



if3o\u\' 
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1 a p\ 

On doit ensuite passer au quotient par m y. Une matrice | 1 â (avec/3 + 

1/ 

/ay + p\ 

(3 = aa) envoie {0,y,u) sur le point {6,p',L') où p' = y + â et 

V 1 / 

L' = [u 1 — au uj3 — a — y) et œ dernier est équivalent par l'action de A = 

^(ay + /3) à exp(^(a2/ + (})) 9 , p" , L") avec = + â j et 

L" = {u 1-au ayu + l3u + uP-â-y) = {l-au){j^ 1 -â-y). 

En définitive {9,y,u) est envoyé sur (exp(^(Q;2/ + 9 , y + â, En 
particulier, la composante frontière est C quotientée par un réseau (un ordre TZ 
de F plonge par a â), et donc une courbe elliptique CM que nous noterons 
£. Noter que le voisinage que nous avions choisi n'est pas stable sous T (IV 
(la condition v ^ n'est pas conservée) ce qui explique le dénominateur dans la 
formule précédente (laquelle décrit néanmoins la structure locale au voisinage de 
notre composante frontière). 

(Cas b -) : Dans ce cas, pour = Oonay^Oetu7^Ode sorte qu'on peut se 
placer dans le voisinage E'^ défini par ces conditions. Alors un système transverse 
de représentants est constitué des points qui vérifient w = 0. On peut prendre 
y = u = 1, de sorte que v = —x . Cette fois c'est la seconde des deux inégalités qui 
est automatique pour Q assez petit. On décrit localement notre compactification 
partielle en ajoutant à la droite(^, x, t) = (0, x, 0) l'ensemble des points défini par : 

Maintenant l'action d'une matrice comme ci-dessus envoie notre point sur 

(x + a + (3t\ 
1 +ât et i' = ( 1 —X — a P + âx) ; faisant agir 

A = ^^"^ on obtient en définitive le point associé à : 

(exp(^(âa;-|-,5)) 6 , x + a, La frontière est la courbe elliptique quotient par 

le même réseau que ci-dessus, mais plongé par a a, autrement dit la complexe 
conjuguée £' de la précédente. 

(2.5) Remsirques. La structure des compactifications au voisinage des com- 
posantes de type (b) est compliquée ; en particulier un voisinage épointé d'un 

point-frontière n'est pas de Stein. Ceci en contraste avec les composantes du type 
(a) qui ont une structure beaucoup plus simple, comme expliqué ci-dessus. 

Pour voir cela, par exemple dans le cas (b -|-), on peut se placer dans un voisinage 
du point de la courbe frontière image de y = et considérer la section transverse 
définie par y = 0. C'est donc l'intersection d'un voisinage du point (0,0) avec 
l'ensemble constitué des {9, u) qui vérifient 



logl^l > L.|2 - 



1 

' iPo\u\' 
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Posant © = log^ et U = logu, on voit que l'inégalité précédente se récrit : 

m> ^ exp(-2m) 

L'ensemble des tels couples (0, U) constitue donc un domaine tube au dessus d'un 
ouvert concave de M? (rappelons en effet que i/3o est un réel négatif). Il n'est donc 
pas de Stein, non plus que l'ensemble des {6, u) dont il constitue un revêtement. De 
même pour les voisinages de (0,0), dont en obtient les revêtements d'un système 
fondamental en tronquant par les conditions Q < —A et U < —A pour A un réel 
positif assez grand. 

Il serait très intéressant de comprendre la cohomologie d'un tel voisinage. Com- 
me nous l'avons déjà dit dans l'introduction, cela permettrait d'associer des coef- 
ficients de Fourier-Jacobi aux classes de cohomologie de degré 2 et d'en déduire 
des renseignements arithmétiques nouveaux sur les formes modulaires du type de 
Maass. Faute d'une telle compréhension, nous allons dans la suite nous borner à 
définir de tels coefficients dans le cas des classes de degré 1, ce qui n'utilise que la 
partie la plus algébrique de la cohomologie. 



3. Développements à la frontière des formes 
modulaires et des classes de cohomologie automorphe 

(3.1) Le cas classique : Développement des formes modulaires de 
Picard. 

Pour simplifier, nous nous bornerons ici à ne considérer que les faisceaux T-kfi 
sur r\X (resp. Ta^-u sur r\ Y), qui proviennent des surfaces de Picard r\A (resp. 
r\A). Nous ne considérerons de plus que des sections qui s'annulent aux pointes. 
De telles sections correspondent, comme on l'a déjà fait remarquer, à des 'formes 
de Picard paraboliques de poids fc' . 

Expliquons comment écrire le développement de Fourier - Shimura d'une telle 
forme ; les coefficients qui apparaissent sont des fonctions thêta, associées à certaines 
courbes elliptiques C M. Géométriquement, cela correspond au fait que les surfaces 
de Picard admettent des compactifications lisses, dont la frontière est composée de 
telles courbes : voir [Lar] pour la construction d'un modèle arithmétique d'une telle 
compactification. 

Nous suivrons ici le point de vue plus concret de Shimura ([Shl] et [Sh2]). On 
peut voir A comme l'ouvert du plan constitué des points {x, y) e qui vérifient 
l'inégalité 21R{x) > \y\^. Nous allons définir le développement de Fourier de formes 
modulaires, en une pointe associée au parabolique normalisateur du sous-groupe 
V déjà considéré plus haut. Une forme de Picard s'identifie à une fonction f{x,y) 
avec {x, y) les coordonnées d'un point de A, qui doit vérifier la loi de transformation 
habituelle, et en particulier être invariante sous le groupe F r\V. Autrement dit, 
/l a /3\ 

pour 10 1 a e Fn F, on doit avoir : f{x + ay + P , y + a) = f{x, y). 

Vo ij 

Considérant le cas oîi a = 0, et donc /3 imaginaire multiple de /3o, on voit que ce 
qui précède et la condition de cuspidalité entraînent que / admet un développement: 
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î{x,y) = V 5r(2/)exp(-^^a;) 

avec gr satisfaisant à l'équation fonctionnelle : 

gr{y + a) = gr{y) exp(— — (ay + /?)). 

Po 

Il s'agit donc de fonctions thêta, associées à la courbe elliptique £ déjà rencontrée 
plus haut. La relation ci-dessus définit un fibré en droites sur £ dont les gr 
constituent des sections. Plus précisément on peut récrire la relation précédente 
sous la forme : 

Sttt'z 1 
gr{y + q) = gr{y)x{â) exp(— — (ay + -aâ)) 

Po ^ 

où le multiplicateur x est défini par = exp(^^lg^) (en effet /3 est déterminé 
par a à un multiple entier près de /3o) ; x(â) est une racine de l'unité parce que 
§M- est un rationnel. 

De façon duale, on peut considérer des formes paraboliques dans _ff'^(r\Y , TQ,h). 
Une telle forme /' ne dépend que de L, de coordonnées (1, w, w), et satisfait à la loi 
de transformation : f(v — a^w — âv = f'{v, w). Il en résulte qu'elle admet un 
développement : 

f'{v,w) = g'riv) exp{-'^^w) 



où les g'r satisfont à 



g'r{v + a) = g'r{v)exp{2—{âv + P)) 

Po 



autrement dit ce sont des fonctions thêta relatives à la courbe elliptique conjuguée 
£' et au faisceau conjugué £J,. 

(3.2) Développement de Fourier au voisinage de la frontière de Kato- 
Usui 

Commençons par remarquer que les faisceaux J^a,b sont triviaux au voisinage 
des composantes frontières de type (b) : pour le type (b +) cela résulte du fait, 
déjà remarqué en (2.4), que dans un tel voisinage on peut supposer t et w non 
nuls, de sorte que t°'v'' définit une section partout non nulle de J^a,b, et donc une 
trivialisation de ce faisceau. De même pour le type (b -) puisque l'on peut alors 
supposer y et u non nuls. La situation est d'ailleurs analogue au voisinage des 
composantes de type (a) , mais nous n'utiliserons pas ces dernières dans la suite. 

Considérons une composante du type (b +) et plaçons-nous sur le fermé du 
voisinage de cette composante où u = : les drapeaux {p, L) correspondants sont 
tels que L passe par le point Poo- Un tel voisinage peut se décrire comme le quotient 
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/l a 

de l'ensemble des {6, y) par l'action de F fl ^ telle qu'une matrice I 1 

\0 

envoie {6, y) sur (exp(^(ay + /?)) 6 , y + â). 

Un tel quotient s'identifie donc à l'espace total, que nous noterons Ci, du fibré 
Cl sur £ considéré ci-dessus. Si a.' e H^{T\^l , Ta^b) est une classe de cohomologie, 
on peut la restreidre à ce quotient ou plus précisément à un voisinage épointé de 
la section nulle dans Ci . Ensuite on définit un 'développement de Fourier' comme 
suit. 

Notons U d Ci\e voisinage considéré, et W le complémentaire de la section nulle 
£. On peut prendre U assez petit de sorte que le faisceau Ta,b soit trivial sur U' ; 
nous le trivialisons comme expliqué ci-dessus. On peut ainsi voir la restriction de 
oj comme un élément de 

H\U' , 0)=H\U , j,{0)) 

o\i j désigne l'inclusion de U' dans U (noter que les Wj^ supérieurs sont nuls.) La 
restriction à £ nous fournit \m clément de H^{£ , j*{0)^£). 

Ensuite, étant donnée une section locale de j*(C')|£:, on peut écrire son déve- 
loppement de Laurent sur les fibres de la projection sur £ (si l'on veut, en utilisant 
les notations de ci-dessus, c'est le développement en les puissances de 9) ; les 
coefficients de ce développement sont des sections locales des puissances du fibré 
dual. On obtient donc ainsi pour chaque entier r e Z un morphisme de j*{0)\£ 
dans C-r, d'où une application de H^{£ , i*(C')|£) dans H^{£ .C-r)- Au bout du 
compte cette construction associe à une classe de cohomologie automorphe lu des 
'coefficients' Wr G H^{£ ,C-r) (nécessairement nuls si r < 0). 

On définit de façon complètement analogue les coefficients de 
uj' e H^{T \ V, , !FaM) au voisinage d'une composante frontière de type (b -): 
ce sont des éléments co'^ G H^{£' ,C'_^). 



4. Des transformations cohomologiques 
au niveau des courbes elliptiques 

Nous allons maintenant définir des transformations cohomologiques entre les 
courbes elliptiques £ et £' . Plus précisément, nous allons définir des applications 
linéaires (en fait bijectives) r]' : H^{£',C'^) — > H^{£,C-r) et r] : H^{£,Cr) — > 
H^{£' , C'_r)- Leur construction est analogue à celle des transformations V et V, 
que nous avions rappelée au début de cet article. 

(4.1) Commençons par introduire l'espace 

w = n\Cxc 

on TZ est le reseau qui définit les courbes elliptiques £ et £' , opérant par a ^ â sur 
le premier facteur C et par a —a son sur le second. Cet espace W se projette 
sur £ (premier facteur) et sur £' (second facteur). Nous noterons tti et 7r2 ces deux 
projections. 
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Proposition 2. L'espace W est de Stein. 

Preuve. On construit comme suit des fonctions holomorphes sur W : Partant de 
deux fonctions thêta / et /' relatives & £ et £' respectivement : 

f{z + a)=f{z) exp(^(a^ + /?)), 

et f{z' -a)= f'{z') exp{^{-âz' + /?)), 

Po 

on voit alors que la fonction g{z, z') = f{z)f'{z') e-xp(^^^zz') est invariante sous 
TZ. et définit donc une fonction sur W. De telles fonctions séparent les points de 
W (cela résulte du fait que pour r assez grand les fonctions thêta produisent des 
plongements projectifs.) 

Il reste à voir que W est holomorphiquement convexe. Donnons-nous une suite 

sans valeur d'adhérence d'éléments de W. Quitte à extraire une sous-suite, on 
peut supposer des représentants {zn,z'^) choisis tels que Zn converge vers z G C. 
Puis (extrayant peut-être encore une suite) que z'^ = z'^ — an avec a„ e 7?. et z'^ 
convergeant vers z" . 

Il reste alors à choisir des fonctions thêta / (resp. /') comme ci-dessus et ne 
s'annulant pas en z (resp. z"). Alors 

9{zn, 4) = f{zn)f'{z'^) exp(^^2;„4') exp(^^(-a„2;„ - â„4 + Bn)) , 

Po Po 

et on voit que cette expression n'est pas bornée : en effet la suite a„ n'est pas 
bornée et îî/3„ = ||q;„P, d'où il résulte que la dernière exponentielle de l'expression 
ci-desssus n'est pas bornée (rappelons que est un réel > 0). 

(4.2) Nous allons maintenant définir les transformations t] et r]' en termes de la 

théorie de Eastwood - Gindikin - Wong (cf. §1). Partons d'un élément 

^' e H^{£' ,C'^), autrement dit d'une fonction thêta comme plus haut. 

La fonction h{z, z') = (j)'{z') exp(— - — zz') vérifie alors l'équation fonctionnelle : 

Po 

h{z + â, z' - a) = h{z, z') exp(-^^(a^ + (3)), 

Po 

c'est donc une section sur W de l'image réciproque par tti du faisceau L-r- L'ex- 
pression : 

r,'{<i>') = <i>'{z')eM^zz')dz' 
Po 

définit alors une forme différentielle relative (à la projection tti) à valeurs dans 
■K^C-r et donc l'élément cherché de H^{£ , C-r). 

On définit rj de manière similaire : 

r}{(l)) = (j){z)exp{^^zz')dz. 

Po 
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(4.3) Exprimons ces transformations en termes de cohomologie de Dolbeault. Ceci 
est analogue à ce que nous avions rappelé plus haut (remarque à la fin du §1) 
concernant les transformations V et V . Le moyen d'effectuer cette traduction est 
expliqué dans [EGW] : pour obtenir un représentant de la classe de cohomologie 
de Dolbeault associée à rj' {(/)'), on doit commencer par étendre cette dernière en 
une forme différentielle absolue sur W; puis prendre l'image réciproque de cette 
extension par s, une section C°° de la projection de W sur £. Enfin, on prend la 
partie de type (0,1) de cette image réciproque. 

Dans notre cas une section est donnée par s{z) = {z, —z); si l'on prend la partie 
de type (0,1) du pull-back par s de la forme difl[érentielle (j)'{z')exp{^^zz') dz', 
on obtient l'expression de notre élément comme une classe de cohomologie de Dol- 
beault: ^ 

v'vi'f'') = exp(-— — zz) dz . 

Po 

De façon analogue ry(çi) s'exprime en cohomologie de Dolbeault : 

ï?x>(9^) = -(p{-z') exp{-^^z'z') dz' . 

Po 



(4.4) La formule 

{(t>i,^2)= [ <^'i(-^')^ exp(-^|zf ) \dz'AdF\ 
Je' PO 

définit un produit scalaire hermitien sur H^{£' ,£'^), associé à une métrique sur 
le fibré C^.. Cette métrique est d'ailleurs essentiellement canonique (i.e. à une 
constante de normalisation près) : elle est caractérisée, à multiplication près par 
un scalaire, par le fait d'être hermitienne et à courbure parallèle. D'autre part, on 
a une bijection antilinéaire de H'^(£',C'j.) sur H^{£,Cr) qui associe à (p' la section 
définie par <l)'{z) = —</)'(— z). On a finalement la dualité de Serre ( , ) entre 
H°{£,£r) et H^{£,C-r), donnée en cohomologie de Dolbeault par l'intégrale sur 
£ du produit. Il résulte des formules ci-dessus que pour cf)'-^ et (j}^ G H^{£' ,C'^) on a 

(^^''1,9^2) = {ll'v{'t>'l),^'2)- 

ce qui exprime l'application 77' comme une certaine composée entre dualité de Serre, 
dualité ( , ), et application 0' cf)' . En particulier r]' est une bijection entre 
H°{£',£'^) et H^{£,C-r). De même bien sûr pour 77. 

(4.5) Les courbes £ , £' ainsi que les faisceaux C et C sont définis sur l'extension 
abélienne maximale F""^ c C de F. Notre objectif est de prouver qu'il en est de 
même des transformations rj et rj'. 

Théorème 1. A multiplication près par un scalaire indépendant de r, les transfor- 
mations T] et T]' sont définies sur i^"** ( autrement dit transforment sections ration- 
nelles sur ce corps en classes de cohomologie rationnelles). 

Preuve. D'après ce qu'on a dit plus haut (4.4), il sufiit de voir que le produit scalaire 
hermitien sur H°{£', L'^) défini par la formule ci-dessus, de même que son analogue 
sur H^{£,Cr)- 
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{^i,(f>2)= J 'l>i{z)(t)2{z) exp( ^Nl^) \dz/\dz\ 

est rationnel sur F"^ à une constante multiplicative c près, c'est-à-dire que si et 
(f)2 sont définis sur F"*" alors il en est de même de c{(pi,(f)2). 

On utilise dans ce but l'article [Shl] qui explicite une base de telles sections 
rationnelles sur F"-'' en termes de fonctions thêta classiques. On peut alors ex- 
plicitement calculer les produits scalaires de ces éléments, dont on trouve qu'ils 
constituent une base orthogonale. Un tel calcul se trouve d'ailleurs dans Siegel [Si]. 
Tout cela vaut d'ailleurs plus généralement pour des variétés abélienncs CM. 

Notons (wi,W2) une base du réseau TZ choisie de telle sorte que z = lûi/lo2 
soit de partie imaginaire > 0. Posons A = Alors les fonctions thêta que 
nous considérons sont celles étudiées dans loc.cit. avec H{x, y) = 2Xxy (à ne 
pas confondre bien sûr avec la forme hermitienne du §1 qui définit G) et "^{a) = 
exp(27rri^^) (une racine de l'unité). Les notations de Shimura s'écrivent dans 
notre cas particulier : fl = {wi,c02), e = 1 et enfin 

/X = E{{uj2,uJi) = 2A3(û;2Wi) = 2X\ùJ2\'^Qz. 

Les fonctions thêta sont données par 

9{u, z; p, s) = exp(7ri(n + p)^z) exp(27ri(7T. + p){u + s)), 

oir M e C et où p et s sont des paramètres réels (en fait dans Q) qui doivent être 
choisis de telle sorte que il){u)iai +lV20!2) = exp{'Kiaia2 + npa2 — sai). Le rationnel 
s est défini à un entier près, et p à un élément près de p^^Z. 

On pose ensuite (j){u, z; p,s) = exp{-^^u'^) 9{u,z;p,s) et on définit enfin des 
sections de £r par la formule : 

fp,s{u) = (/)(pw^^u,pa;^V;p,s) = exp(^/xa;^2u2) 9{p,U2^u, pz; p,s); 
Soit encore, avec C = '^2/|i^2| : 

fp,s{u) = exp(7rAC~^w^) 9{pu)2^u,pz;p,s). 

Un des résultats de l'article précité est le suivant: Pour p, s fixés et j variant 
dans mi système de représentants des classes de /i^^Z/Z, les fonctions /p+j , s(m) 
constituent une base de H^{£,Cr) sur C. D'autre part on obtient une base de 
sections rationnelles sur F"''' en prenant les fonctions f'^j^^ ^{u) = h{z)~^fp^j ^ ^(u) 
pour h une quelconque forme modulaire de poids demi-entier algébrique sur Q"^. 

On voit que les produits scalaires {fpi,sfp2,s) sont donnés par les intégrales : 



exp(— 47rA(3(C ^u))^9{pu;2^u,pz;pi,s)9{pL02^u,pz;p2,s) \ duAdu\ 
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On calcule ces dernières en remplaçant les fonctions thêta par la somme qui les 
définit et en intégrant sur un rectangle fondamental (de sommets 0, o/i, W2, wi +CO2) 
chacun des produits qui apparaissent. Autrement dit on doit intégrer 

exp (2iTi{ni + /9i)(/tia;^^u + s) — 2-Ki{n2 + p2){nôj2^û-\- s) — 47rA|a;2p(9(w^^w))^) = 

exp (27ri(ni+pi— n2—/92)A<3? (072" "'"'«)— 27r(rii+pi+n2+p2)M3('-^^"'"'*^)~47rA|w2p(3(w^"'^ 

On peut commencer cette intégration avec ^(w^^m) constant et la partie réelle 
variant de à 1 ; les intégrales ci-dessus sont alors nulles sauf si ni+pi — n2 — P2 = 0. 
Ceci n'est possible que pour pi = p2 mod Z, et donc dans notre cas on voit que 
les fonctions que nous considérons sont orthogonales deux à deux. 

Il reste à calculer {fp.sfp,s)- C'est la somme de la série dont le terme de rang n 
est le produit par exp(— 27r(n + p)"^ p'^z) de Fntcgralc sur le rectangle fondamental 
de exp ( — 47r(n + p)9(a;2'^'«) — 47rA|a;2p(9(w^^'«))^). On doit donc calculer la 
somme des intégrales des fonctions : 

exp ( — 27j"(n + pYp'isz — 47r(n + p)/z9(a;^^u) — 47rA|a;2|^(3'(w^^w))^) • 

Soit, compte tenu du fait que — 2A|w2p(Sî-2)^ , la somme des intégrales des 
exp ( - 47rA|w2p((n + p)'^z + . 

Prenons pour fixer les idées la mesure usuelle sur C. Le changement de variable 
V = u)2^u transforme notre rectangle en celui de sommets 0, 1, z, 1 + z, et nous 

devons donc intégrer sur ce dernier les fonctions \u)2\'^ exp (-47rA|a;2p((n + p)S-2 + 

"^(^))^)- Comme cette fonction ne dépend que dey = Qu, on doit donc calculer la 

somme des \lû2\'^ J^^ exp (^ — 4'ïïX\u)2\'^{in+p)^z + y)'^^dy . On voit alors finalement 
que l'on a: 



/-|-CX> 
exp(-47rA|w2|^y^)rfî/ 
-00 



On obtient donc le résultat suivant : 

\ùJ2\ 



{fp,sfp,s) 



2\/Â 
et donc 



2\h{z)^\y/X 



ces produits scalaires sont donc bien rationnels sur F"" à la constante près 
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5. Relations entre les transformations V,'P','q,r]' 

Théorème 2. Soit f une forme modulaire parabolique de poids k > 2 sur T\A 
et soit io' = 7-"(/') G iî^(r \ fi , J^_/c_|_i^/5_2) la classe de cohomologie automorphe 
correspondante. Alors les coefficients du développement de u)' au voisinage de la 
com.posante frontière du type ( b -) sont nuls, tandis qu'en celle du type ( b +) 
ces coefficients sont donnés en fonction des coefficients g'^ de f par : w'^ = —r]'{g'^) 
pour r >1, etu)'^ = Q pour r < . 

De même pour f une telle forme sur T\A, les coefficients de lu = 'P{f) sont 
donnés par u)r = —'r]{9r) (r > 1) et si r < au voisinage de la composante de 
type (b -) ; ils sont nuls au voisinage de celle de type (b +). 

Preuve. 

(i) Rappelons en quelques mots la construction de [EGW] ; Soit tt : X ^ M une 
fibration holomorphe entre variétés complexes, à fibres contractiles et dont l'espace 
total est de Stcin. Soit un fibré vectoriel sur M. Alors on a un isomorphisme 
entre la cohomologie H*{M, 0{J^)) et la cohomologie du complexe T{X, fi* (J^)), oii 
il* (^) désigne le faisceau des formes différentielles 7r-relatives à valeurs dans T. Cet 
isomorphisme s'obtient ainsi : on considère le faisceau 'k*0{J^) image réciproque 
de 0{J^). Parce que les fibres de tt sont contractiles, on a : H*{{M,0{!F)) ~ 
H*{X,'K*0{T)). D'autre part le complexe de de Rham relatif est une résolution 
du faisceau tï*0{T)^ et cette résolution est acyclique parce que l'espace total est 
de Stcin. D'où un isomorphisme entre H*(X,tt*0(T)) et H*{T{X,ni{T))). 

On voit facilement que cette construction est fonctorielle au sens suivant : pour 
M' — > M et 77 une classe de cohomologie associée à une forme différentielle u), sa 
restriction à M' est donnée par la restriction de lo au produit fibré X' = M' Xm X 
pourvu que ce dernier soit de Stein. C'est le cas en particulier pour M' un sous- 
espace fermé de M. 

De même, si une classe de cohomologie est associée à u sur X et si X' G X 
est une sous-variété, encore de Stein, et tcillc que; la restriction de tt soit encore 
une fibration sur M à fibres contractiles, alors la même classe est définie par la 
restriction de w à X' . 

(ii) Nous appliquerons ces considérations à V'{f'), qui est définie par la forme 
différentielle f'{z A ^) l{^)'' toj sur l'espace F \ U (cf. §1 ; on tient compte ici 
du fait que a = ). En fait nous commencerons par prendre le puU-back de cette 
forme sur l'espace quotient F fl F \ U : ceci définit le puU-back sur F fl F \ fi de 
notre classe de cohomologie ; noter que F n F \ U est de Stein : cela résulte de ce 
qu'il est un revêtement de l'espace de Stein F \ U (on peut aussi démontrer cela de 
façon plus explicite). 

Notons U~ sous-ensemble fermé de U constitué des couples de drapeaux {z, l;^a) 
dans U tels que z G D^o et que a passe par poo- Le quotient F n F \ U~, fermé 
dans F n F \ U, est caicorc de Stein. Il se projette sur le sous caiscanblc ferme de 
F n 1^ \ il, que nous noterons S~ et qui est constitué des drapeaux qui vérifient la 
condition supplémentaire z G D^. Le développement en une composante de type 
( b -) se calcule à partir de la restriction à S~ de la classe de cohomologie w. 
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On voit que les fibres de la projection de F n V" \ sur S~ sur sont encore 
contractiles. Par suite la restriction de notre classe de cohomologie est donnée par 
la restriction de la forme différentielle correspondante à F n F \ U~ . 

De façon duale on considère U"*", formé des drapeaux tels que / passe par Poo 
et que ^ e -Dqo- C'est un revêtement de sous-espace C F n F \ fi constitué 
des drapeaux {z,l) vérifiant la condition supplémentaire que l passe par p^o- Le 
développement en la composante de type ( b +) se lit sur la restriction de la 
classe de cohomologie à 5+, et cette restriction est associée à la restriction à U+ 
de la forme différentielle. 

(iii) Commençons par le cas d'une composante de type ( b -) . On va montrer 
alors que la restriction de V'{f') à U~ est relativement exacte. Pour cela, on 
remarque que c'est vrai sur chaque fibre de la projection sur S~ : V'{f') y est 
la différentielle d'une section holomorphe bien définie à une constante près. Ces 
intégrales sur les fibres ne dépendent que de J, la droite joignant x à ^, et nous 
allons les normaliser de sorte que leur limite soit nulle lorsque cette droite tend vers 
D^o- Une fois cette normalisation accomplie, on obtient une section holomorphe 
bien définie sur U~ du faisceau T-u+i k-2 dont 'P'{f') est la différentielle relative. 

/xo\ 

Vérifions qu'une telle normalisation est possible. Soient z = I 1 1 et 

Vo/ 

/ = ( 1 —xo To ) un point fixé de S ; un point de la fibre au-dessus de cet 

élément correspond à la donnée supplémentaire de ^ = \ y \ et a = {0 1 —y) 

tels que le point d'intersection 7 de Z et a soit intérieur à A et que la droite 
J joignant z et ^ soit extérieure à A. Des coordonnées de J sont données par 
J = (1 —Xo w) avec w = xny — x ( > |a;op). La différentielle ljj est 
la différentielle d'une coordonnée y{J) bien définie à une constante près par : 
y{J) = det2( J, Jo) detj^( J, l), où les déterminants sont pris dans le plan constitué 
des formes nulles sur z et où Jq représente le choix d'un point-base (ne dépendant 
que de {z, l)), normalisé de telle sorte que det(Jo, l, *) = *(z). 

Ici on peut prendre Jq = (0 1 ), ce qui donne y{J) = (tq — Xoy + x)~^ = 
(tq — w)^^. Parce que /(Ç) = x — xoy + x — To — w,la restriction à la fibre au dessus 
de {z, l) de notre forme différentielle est donnée par : 

V'if) = /'(J)(ro - wfd{{To - w)-' = /'(l, -xo, w) (to - w)''-^dw . 

L'expression /'(l, —xq, w) est une fonction 4>'{q) de q = exp(— ^w), holomor- 
phe au voisinage de et nulle en 0. Notre forme différentielle est alors le produit 
de ^-^(i<7 par un polynôme en log{q) et on voit qu'une primitive d'une telle forme 
admet une limite en g = (une détermination de log étant choisie avec une partie 
imaginaire bornée); autrement dit, toute primitive admet une limite lorsque îîw 
tend vers +00, la partie imaginaire restant bornée. 

(iv) Traitons maintenant le cas d'une composante de type ( b +) . Un point 
de U+ étant défini par un couple de drapeaux {z,l) = {[ y \ ,{0 1 —y)) 
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et (Ç,a) = (I 1 ,(1 V w)), on voit que la droite J est donnée par J = 
J 

( 1 V —X — vy). La classe de cohomologic V'^f) est associée à la forme diffé- 
rentielle relative /'(J) ivj (noter en effet que est identiquement 1). 

On calcule comme ci-dessus (la restriction de) ojj. On peut prendre Jq = 
(1 vo —x — voy) (avec vq fixé). On trouve alors que y{J) = vq — v et donc 
u)j = —dv. 

Finalement, —'P'{f') est donnée par: 

-V'{f){x,y;v,w) = f'{v,-x-vy) dv = ^ g'^{v)exp{^^{x + vy)) dv 
Ou, si l'on préfère, en termes 9 = exp(^x) : 

-V'{f'){x,y;v,w) = V g'^{v)exp{^^vy) 9'' dv . 

Cette dernière expression ne dépend que de v, y et 9. L'action d'un élément 
l a (3\ 

1 â ] de r n y transforme y en y + â, v en v — a, 9 en exp ^(ay + /3), et 

laisse invariante l'expression de V'{f'). 

Notons W£i l'espace total du fibré image réciproque de C\ par la projection de 
W sur £. Cet espace ce projette sur l'espace total du fibre Ci, que nous avions noté 
£i. Notons également W£i et C\ les complémentaires des sections nulles. On voit 
que l'expression précédente définit une forme différentielle sur W£î (relativement 
à sa projection sur C\). 

Remarquons de plus que l'espace W£i est de Stcin : on peut utiliser le fait 
général qu'un fibré vectoriel sur un espace de Stein est encore de Stein, ou bien 
aussi le prouver directement dans ce cas particulier. Il en est donc de même de 
W£^, et il en résulte que la formule ci-dessus définit une classe de cohomologic 
sur C\. Cette dernière n'est autre, en vertu des considérations (i) ci-dessus, que 
la classe de cohomologic qui nous a servi en (3.2) à définir le développement de 
Fourier. 

On remarque enfin que la formule ci-dessus a un sens sur l'espace W£i tout 
entier : notre classe de cohomologic se prolonge donc à Ci. Dans ces conditions 
il est clair que la construction de (3.2) revient à se restreindre à la section nulle 
puis à prendre les coefficients de Fourier. Il en résulte que la i — iéme composante de 
Fourier de —Vif) est associée au cocycle qui envoie {y, v) sur g'^{v)exp{^^vy) dv. 
Cela prouve le théorème pour la transformation V. 

La démonstration dans le cas de la transformation V est duale de la précédente. 

Compte tenu des propriétés de rationalité pour les transformations î] et ï]' prou- 
vées au paragraphe précédent, et du fait que les formes modulaires de Picard sont 
engendrées par celles rationnelles sur F"^, le théorème précédent admet le corollaire 
suivant : 
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Corollaire 1. L'image de la transformation V' est engendrée par des classes de 
cohomologie rationnelles sur F"''' ( au sens que leurs coefficients sur les composantes 
du type (b+) le sont). Résultat analogue pour l'image de V . 

On remarquera d'ailleurs que cette image est l'ensemble des classes paraboliques, 
que l'on peut définir de façon analytique (remarque finale du §1) à défaut de disposer 
d'une définition géométrique. 

Commentaire final : Pour uj' = V'{f') comme dans l'énoncé du théorème, le 

fait que les coefficients correspondant aux composantes de type (b-) soient nuls 
traduit le fait qu'au voisinage d'une composante frontière de ce type, la restriction 
de w' à la partie algébrique de la compactification (cf. (3.2)) s'annule. On aimerait 
pouvoir définir des invariants plus fins, qui "mesurent" le d'un voisinage de la 
courbe frontière (rappelons (cf. (2.5)) qu'un tel voisinage n'est pas de Stein). 

Ce problème est intimement lié à celui de définir des coefficients pour les 2-classes 
de cohomologie du type de Maass; en effet, de même que nous l'avions démontré 
dans [Cal] dans le cas compact, il devrait encore être vrai que ces classes (dans le 
cas parabolique) sont engendrées par des cup-produits V{f) U'P'(/'). 
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